<!DOCTYPE html>
<html lang="zh-CN">
<head>
  <meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
<meta name="theme-color" content="#222">
<meta name="generator" content="Hexo 4.2.1">
  <link rel="apple-touch-icon" sizes="180x180" href="/images/apple-touch-icon-next.png">
  <link rel="icon" type="image/png" sizes="32x32" href="/images/favicon-32x32-next.png">
  <link rel="icon" type="image/png" sizes="16x16" href="/images/favicon-16x16-next.png">
  <link rel="mask-icon" href="/images/logo.svg" color="#222">

<link rel="stylesheet" href="/css/main.css">


<link rel="stylesheet" href="/lib/font-awesome/css/all.min.css">

<script id="hexo-configurations">
    var NexT = window.NexT || {};
    var CONFIG = {"hostname":"bamboowine.gitee.io","root":"/","scheme":"Gemini","version":"7.8.0","exturl":false,"sidebar":{"position":"left","display":"post","padding":18,"offset":12,"onmobile":false},"copycode":{"enable":false,"show_result":false,"style":null},"back2top":{"enable":true,"sidebar":false,"scrollpercent":false},"bookmark":{"enable":false,"color":"#222","save":"auto"},"fancybox":false,"mediumzoom":false,"lazyload":false,"pangu":false,"comments":{"style":"tabs","active":null,"storage":true,"lazyload":false,"nav":null},"algolia":{"hits":{"per_page":10},"labels":{"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}},"localsearch":{"enable":false,"trigger":"auto","top_n_per_article":1,"unescape":false,"preload":false},"motion":{"enable":true,"async":false,"transition":{"post_block":"fadeIn","post_header":"slideDownIn","post_body":"slideDownIn","coll_header":"slideLeftIn","sidebar":"slideUpIn"}}};
  </script>

  <meta name="description" content="线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法，在二分类问题上最早由[Fisher, 1936]提出，亦称“Fisher判别分析”。LDA和PCA（主成分分析）有一定类似之处。">
<meta property="og:type" content="article">
<meta property="og:title" content="线性判别分析LDA">
<meta property="og:url" content="https://bamboowine.gitee.io/2022/01/09/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/%E7%BA%BF%E6%80%A7%E5%88%A4%E5%88%AB%E6%B3%95/index.html">
<meta property="og:site_name" content="Hexo">
<meta property="og:description" content="线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法，在二分类问题上最早由[Fisher, 1936]提出，亦称“Fisher判别分析”。LDA和PCA（主成分分析）有一定类似之处。">
<meta property="og:locale" content="zh_CN">
<meta property="og:image" content="https://gitee.com/BambooWine/MyPhotos/raw/master/img/image-20220105223816585.png">
<meta property="article:published_time" content="2022-01-09T15:15:32.000Z">
<meta property="article:modified_time" content="2022-01-09T15:16:12.158Z">
<meta property="article:author" content="John Doe">
<meta property="article:tag" content="线性模型">
<meta name="twitter:card" content="summary">
<meta name="twitter:image" content="https://gitee.com/BambooWine/MyPhotos/raw/master/img/image-20220105223816585.png">

<link rel="canonical" href="https://bamboowine.gitee.io/2022/01/09/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/%E7%BA%BF%E6%80%A7%E5%88%A4%E5%88%AB%E6%B3%95/">


<script id="page-configurations">
  // https://hexo.io/docs/variables.html
  CONFIG.page = {
    sidebar: "",
    isHome : false,
    isPost : true,
    lang   : 'zh-CN'
  };
</script>

  <title>线性判别分析LDA | Hexo</title>
  






  <noscript>
  <style>
  .use-motion .brand,
  .use-motion .menu-item,
  .sidebar-inner,
  .use-motion .post-block,
  .use-motion .pagination,
  .use-motion .comments,
  .use-motion .post-header,
  .use-motion .post-body,
  .use-motion .collection-header { opacity: initial; }

  .use-motion .site-title,
  .use-motion .site-subtitle {
    opacity: initial;
    top: initial;
  }

  .use-motion .logo-line-before i { left: initial; }
  .use-motion .logo-line-after i { right: initial; }
  </style>
</noscript>

</head>

<body itemscope itemtype="http://schema.org/WebPage">
  <div class="container use-motion">
    <div class="headband"></div>

    <header class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-container">
  <div class="site-nav-toggle">
    <div class="toggle" aria-label="切换导航栏">
      <span class="toggle-line toggle-line-first"></span>
      <span class="toggle-line toggle-line-middle"></span>
      <span class="toggle-line toggle-line-last"></span>
    </div>
  </div>

  <div class="site-meta">

    <a href="/" class="brand" rel="start">
      <span class="logo-line-before"><i></i></span>
      
      <!-- 修改title -->
      <h1 class="site-title"> BambooWine's Notes </h1>
      <p class="site-subtitle" style="opacity: 1; top: 0px;">努力吧, 朋友~</p>
      <!-- <h1 class="site-title">Hexo</h1> -->

      <span class="logo-line-after"><i></i></span>
    </a>
  </div>

  <div class="site-nav-right">
    <div class="toggle popup-trigger">
    </div>
  </div>
</div>




<nav class="site-nav">
  <ul id="menu" class="main-menu menu">
        <li class="menu-item menu-item-home">

    <a href="/" rel="section"><i class="fa fa-home fa-fw"></i>首页</a>

  </li>
        <li class="menu-item menu-item-archives">

    <a href="/archives/" rel="section"><i class="fa fa-archive fa-fw"></i>归档</a>

  </li>
        <li class="menu-item menu-item-categories">

    <a href="/categories/" rel="section"><i class="fa fa-th fa-fw"></i>分类</a>

  </li>
        <li class="menu-item menu-item-tags">

    <a href="/tags/" rel="section"><i class="fa fa-tags fa-fw"></i>标签</a>

  </li>
        <li class="menu-item menu-item-about">

    <a href="/about/" rel="section"><i class="fa fa-user fa-fw"></i>关于</a>

  </li>
  </ul>
</nav>




</div>
    </header>

    
  <div class="back-to-top">
    <i class="fa fa-arrow-up"></i>
    <span>0%</span>
  </div>


    <main class="main">
      <div class="main-inner">
        <div class="content-wrap">
          

          <div class="content post posts-expand">
            

    
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block" lang="zh-CN">
    <link itemprop="mainEntityOfPage" href="https://bamboowine.gitee.io/2022/01/09/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/%E7%BA%BF%E6%80%A7%E5%88%A4%E5%88%AB%E6%B3%95/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.jpg">
      <meta itemprop="name" content="John Doe">
      <meta itemprop="description" content="">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="Hexo">
    </span>
      <header class="post-header">
        <h1 class="post-title" itemprop="name headline">
          线性判别分析LDA
        </h1>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-calendar"></i>
              </span>
              <span class="post-meta-item-text">发表于</span>
              

              <time title="创建时间：2022-01-09 23:15:32 / 修改时间：23:16:12" itemprop="dateCreated datePublished" datetime="2022-01-09T23:15:32+08:00">2022-01-09</time>
            </span>
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-folder"></i>
              </span>
              <span class="post-meta-item-text">分类于</span>
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/categories/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/" itemprop="url" rel="index"><span itemprop="name">机器学习</span></a>
                </span>
            </span>

          
            <div class="post-description">线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法，在二分类问题上最早由[Fisher, 1936]提出，亦称“Fisher判别分析”。LDA和PCA（主成分分析）有一定类似之处。</div>

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
        <h1 id="线性判别分析LDA"><a href="#线性判别分析LDA" class="headerlink" title="线性判别分析LDA"></a>线性判别分析LDA</h1><h2 id="1-LDA的思想"><a href="#1-LDA的思想" class="headerlink" title="1. LDA的思想"></a>1. LDA的思想</h2><p>&emsp;&emsp;线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法，在二分类问题上最早由[Fisher, 1936]提出，亦称“Fisher判别分析”。LDA和PCA（主成分分析）有一定类似之处。</p>
<p>&emsp;&emsp;LDA的思想比较简单：给定训练集，设法将数据集投影到一条直线上，使得同类数据的投影点尽可能接近，异类数据的投影点尽可能远离，用一句话概括 <strong>投影后类内方差最小，类间方差最大</strong>。所以从这里可以看出，LDA是一种监督学习的方法。</p>
<p>&emsp;&emsp;我们以下图为例，假设我们有两类数据，分别为红色和蓝色，这些数据特征是二维的，我们希望将这些数据投影到一维的一条直线，让每一种类别数据的投影点尽可能的接近，而红色和蓝色数据中心之间的距离尽可能的大。从直观上来看，我们会认为右图的投影方式更加合理，因为在当前方式下，每类数据彼此分离不重合，并且每一类的数据比较集中；相反在左图的投影方式下，效果可能不如人意。<br>&emsp;&emsp;在更高维的特征空间中，我们投影后的不一定是直线，很可能是维数较低的超平面。</p>
<p><img src="https://gitee.com/BambooWine/MyPhotos/raw/master/img/image-20220105223816585.png" alt="image-20220105223816585"></p>
<h2 id="2-瑞利商-Rayleigh-quotient-与广义瑞利商"><a href="#2-瑞利商-Rayleigh-quotient-与广义瑞利商" class="headerlink" title="2. 瑞利商(Rayleigh quotient)与广义瑞利商"></a>2. 瑞利商(Rayleigh quotient)与广义瑞利商</h2><p>&emsp;&emsp;我们先来看一下瑞利商函数的定义：<br>$$<br>R(A, x)=\frac{x^HAx}{x^Hx}<br>$$<br>其中 $x$ 是非零向量，而A为n阶厄米特矩阵。所谓厄米特矩阵，就是A矩阵的共轭转置等于它本身，即 $A^H = A$。而这个瑞利商函数 $R(A,x)$ 有一个非常重要的性质，就是<strong>它的最大值等于A的最大特征值，最小值等于A的最小特征值</strong>，即：<br>$$<br>\lambda_{min} \le R(A, x)\le \lambda_{max}<br>$$</p>
<hr>
<p><strong>这个性质的证明如下:</strong></p>
<p>&emsp;&emsp;由于矩阵A是厄米特矩阵，所以一定存在一个酉矩阵$Q$，使得：<br>$$<br>Q^HAQ=diag(\lambda_1,\lambda_2,…,\lambda_n)=\Lambda<br>$$<br>也就是说A可正交相似对角化。那么我们令$x=Qy$，上述式子变为：<br>$$<br>\begin{aligned}<br>R(A,x)&amp;=\frac{y^HQ^HAQy}{y^HQ^HQy} \<br>&amp;= \frac{y^H\Lambda y}{y^Hy}\<br>&amp;= \frac{\lambda_1 y_1^2+ \lambda_2y_2^2+…+\lambda_n y_n^2}{y_1^2+y_2^2+…+y_n^2}<br>\end{aligned}<br>$$<br>&emsp;&emsp;对此我们可以进行一个放缩：<br>$$<br>\begin{aligned}<br>\lambda_{min} \le \frac{\lambda_1 y_1^2+ \lambda_2y_2^2+…+\lambda_n y_n^2}{y_1^2+y_2^2+…+y_n^2} \le \lambda_{max}<br>\end{aligned}<br>$$<br>&emsp;&emsp;不妨假设$\lambda_n$为最大的特征值，$\lambda_1$为最小的特征值；那么当$y=(0,0,…,1)$时，$R(A,x)$可以取到最大值；当$y=(1,0,…,0)$ 时，$R(A,x)$ 取最小值。</p>
<p>&emsp;&emsp;证毕。</p>
<blockquote>
<p>这里我们还应该思考一下，就是当 $R(A,x)$ 取最大值时，$x$ 向量的取值是什么？</p>
<p>我们已经知道当 $y=(0,0,…,1)$时，$R(A,x)$取最大值，根据 $x=Qy$可以得到，$x$为 Q的最后一列；同理可以得到，当  $R(A,x)$ 等于某个特征值  $\lambda_i$时， $y=(0,0,…1,..,0,0)$，而 $x$ 为 Q的第 i 列；Q是什么？Q是 $A$ 的特征向量组成的矩阵。</p>
<p>知道这一点是很重要的，对于后面的LDA原理分析奠定基础。</p>
</blockquote>
<hr>
<p>当 $x$ 是标准正交基的时候，满足$x^Hx=1$，这时$R(A,x)=x^HAx$ 。</p>
<p>&emsp;&emsp;下面我们来介绍一下广义瑞利商函数：<br>$$<br>R(A,B,x)=\frac{x^HAx}{x^HBx}<br>$$<br>其中 $x$ 是非零向量，而A、B为n阶厄米特矩阵。<strong>B为正定矩阵</strong>。那么它的最大值和最小值是什么呢？</p>
<p>&emsp;&emsp;令 $x=B^{-1/2}x’$，则分母变为：<br>$$<br>\begin{aligned}<br>x^HBx &amp;= x’^H(B^{-1/2})^HBB^{-1/2}x’\<br>&amp;= x’^HB^{-1/2}BB^{-1/2}x’\<br>&amp;= x’^Hx’<br>\end{aligned}<br>$$<br>&emsp;&emsp;而分子变为：<br>$$<br>\begin{aligned}<br>x^HAx=x’^HB^{-1/2}AB^{-1/2}x’<br>\end{aligned}<br>$$<br>&emsp;&emsp;此时广义瑞利商函数$R(A,B,x)$变为$R(A,B,x’)$：<br>$$<br>R(A,B,x)=\frac{x’^HB^{-1/2}AB^{-1/2}x’}{x’^Hx’}<br>$$</p>
<p>&emsp;&emsp;利用前面得到瑞利商的性质，我们可以知道$R(A,B,x)$的最大值为矩阵$B^{-1/2}AB^{-1/2}$的最大特征值，最小值为矩阵$B^{-1/2}AB^{-1/2}$的最小特征值，而矩阵$B^{-1/2}AB^{-1/2}$和$B^{-1}A$相似——<strong>相似矩阵拥有相同的特征值</strong>，故广义瑞利商函数的最大值为矩阵$B^{-1}A$的最大特征值，最小值为$B^{-1}A$的最小特征值。</p>
<p>&emsp;&emsp;同样的，我们更加关注广义瑞利商取到最大值时$x$ 的取值。根据前面瑞利商的性质，$R(A,B,x)$ 取到最大值时，$x’$ 为矩阵 $B^{-1/2}AB^{1/2}$ 的特征向量，根据特征值特征向量的定义：<br>$$<br>B^{-1/2}AB^{-1/2} * x’ = \lambda * x’<br>$$<br>将 $x=B^{-1/2}x’$ 代入得：<br>$$<br>\begin{aligned}<br>B^{-1/2}AB^{-1/2} * B^{1/2} *x &amp;= \lambda * B^{1/2}x \<br>B^{-1}A *x&amp;= \lambda * x<br>\end{aligned}<br>$$<br>综上可以看出，广义瑞利商的最大值为矩阵$B^{-1}A$的最大特征值，而 $x$的取值为其特征值对应的特征向量。</p>
<blockquote>
<p>这里矩阵  B 肯定是半正定的，但不一定是正定的，即不一定可逆，常用的处理手段是：</p>
<p><strong>$B+\rho I$</strong>，给矩阵 B 加上一个微小的扰动，这样矩阵从半正定变为正定 (因为 0特征值变为正数了)，之后就可以进行求逆的操作，而对原问题的影响比较小。</p>
</blockquote>
<blockquote>
<p>还有人可能会矩阵 $B$ 取 1/2次幂有些好奇，这里解释一下</p>
<p>由于矩阵 $B$ 是正定矩阵，故 $B$ 一定相似于主对角元素都为正数的对角阵，也就是说存在可逆阵 $P$，使得 $P^{-1}BP=\Lambda=diag(\lambda_1,\lambda_2,…,\lambda_n)$ 是对角阵。令 $C=P^{-1}diag(\sqrt\lambda_1,\sqrt\lambda_2,…,\sqrt\lambda_n)P$，可以看到 $C*C=B$，故 $C=B^{1/2}$</p>
</blockquote>
<h2 id="3-二类LDA原理"><a href="#3-二类LDA原理" class="headerlink" title="3. 二类LDA原理"></a>3. 二类LDA原理</h2><p>&emsp;&emsp;回归正题，我们先讲二类LDA。假设有数据集$D={(x_1,y_1),(x_2,y_2),…,(x_m,y_m)}$，其中$x_i$为数据点的坐标（n维向量），$y_i\in{0,1}$，代表数据点的类别。接着定义$N_j(j=0,1)$为第j类样本的个数，$X_j(j=0,1)$代表第 j 类样本的集合，$\mu_j(j=0,1)$代表第 j 类样本坐标的均值向量，$\sum_j(j=0,1)$为第 j 类样本坐标的协方差矩阵。</p>
<p>&emsp;&emsp;即：<br>$$<br>\mu_j=\frac{1}{N_j}\sum_{x\in X_j}x \quad (j=0,1) \<br>\sum_j=\sum_{x\in X_j}(x-\mu_j)(x-\mu_j)^T \quad (j=0,1)<br>$$<br>&emsp;&emsp;因为我们要将两类数据投影到一条直线上，设直线向量为 $w$，故对于任意一个样本$x_i$，其在直线上的投影为$w^Tx_i$，同理对于两类数据的中心点$\mu_0,\mu_1$，它们在直线上的投影为$w^T\mu_0$和$w^T\mu_1$。而投影之后，<strong>类内数据点的方差</strong>变为：<br>$$<br>\begin{aligned}<br>\sum_{wj} &amp;=\sum_j(w^Tx-w^T\mu_j)^2 \<br>&amp;=\sum_j(w^T(x-\mu_j))^2    \<br>&amp;=\sum_jw^T(x-\mu_j)(x-\mu_j)^Tw \<br>&amp;= w^T\sum_j(x-\mu_j)(x-\mu_j)^Tw\<br>&amp;= w^T\sum_jw<br>\end{aligned}<br>$$<br>&emsp;&emsp;LDA的目的是为了<strong>投影后类内方差最小，类间方差最大</strong>，所以我们要使$||w^T\mu_0-w^T\mu_1||_2^2$最大，而最小化$w^T\sum_0w+w^T\sum_1w$。综上，我们需要优化：<br>$$<br>J(w)=\frac{||w^T\mu_0-w^T\mu_1||_2^2}{w^T\sum_0w + w^T\sum_1w}<br>$$<br>使上述函数最大，也就达到了我们的目的。</p>
<p>&emsp;&emsp;我们定义<strong>类内散度矩阵$S_w$：</strong><br>$$<br>S_w=\sum_0+\sum_1=\sum_{x\in X_0}(x-\mu_0)(x-\mu_0)+\sum_{x\in X_1}(x-\mu_1)(x-\mu_1)<br>$$<br>&emsp;&emsp;定义<strong>类间散度矩阵$S_b$：</strong><br>$$<br>S_b=(\mu_0-\mu_1)(\mu_0-\mu_1)^T<br>$$<br>&emsp;&emsp;这样上述优化目标$J(w)$可以写为：<br>$$<br>J(w)=\frac{w^TS_bw}{w^TS_ww}<br>$$<br>&emsp;&emsp;而这不就是第二节我们讲过的广义瑞利商吗？利用前面瑞利商的性质，我们可以得到$J(w)$的最大值为矩阵$S_w^{-1}S_b$的最大值，最小值为矩阵$S_w^{-1}S_b$的最小值。但是我们关注的不仅仅是最值，而是这里的$w$的取值；根据前面广义瑞利商的性质，$w$ 为矩阵 $S_w^{-1}S_b$ 特征值对应的特征向量。</p>
<hr>
<p><strong>其他解法：</strong></p>
<p>&emsp;&emsp;可能有些人在西瓜书等地方看到过这样的解法:</p>
<p>&emsp;&emsp;我们可以看到 $J(w)$ 的取值和 $w$ 的长度无关，只和其方向有关，因为可以通过约分手段约去长度，所以我们可以令 $w^TS_ww=1$。</p>
<p>&emsp;&emsp;(可能有些人对这里会有些怀疑，可以回到普通瑞利商，可以令 $x^Hx = 1$，这一点是毫无疑问的；至于广义瑞利商，同样可以将其化为普通瑞利商，所以令 $w^TS_ww=1$ 并无大碍。)</p>
<p>&emsp;&emsp;之后这个上述的优化目标可以重新表述为：<br>$$<br>min_w \ -w^TS_bw\<br>s.t. \quad w^TS_ww=1<br>$$<br>根据<strong>拉格朗日乘子法</strong>，上式等价于：（拉格朗日乘子没有正负限制，所以 $\lambda$ 前面可以是加号或者减号）<br>$$<br>min \ L(w,\lambda) = -w^TS_bw + \lambda \ (w^TS_ww-1)<br>$$<br>求导得：<br>$$<br>\begin{aligned}<br>S_bw &amp;= \lambda\ S_ww  \<br>S_w^{-1}S_bw &amp;= \lambda w<br>\end{aligned}<br>$$<br>到这里已经可以看到，这里 $w$ 就是矩阵 $S_w^{-1}S_b$的特征向量，代入原式得，最大值为最大特征值。</p>
<p>&emsp;&emsp;多说些，观察一下 $S_bw=(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw$，会发现其方向为 $\mu_0-\mu_1$，设 $S_bw=k(\mu_0-\mu_1)$，再将其带入上式得：$w=\frac{k}{\lambda}S_w^{-1}(\mu_0-\mu_1)$，而由于 $w$ 只和方向有关，和长度无关，所以这里可以将其长度约去，最终得：$w=S_w^{-1}(\mu_0-\mu_1)$；同样这也是西瓜书上 <strong>“令$S_bw=\lambda(\mu_0-\mu_1)$”</strong> 的原因。</p>
<hr>
<h2 id="4-多类LDA原理"><a href="#4-多类LDA原理" class="headerlink" title="4. 多类LDA原理"></a>4. 多类LDA原理</h2><p>&emsp;&emsp;有了二分类的基础，研究多类LDA也是比较容易的。</p>
<p>&emsp;&emsp;还是先定义：假设有数据集$D={(x_1,y_1),(x_2,y_2),…,(x_m,y_m)}$，其中$x_i$为数据点的坐标（n维向量），$y_i\in{1,2,…,k}$，代表数据点的类别。接着定义$N_j(j=1,2,…,k)$为第j类样本的个数，$X_j(j=1,2,…,k)$代表第 j 类样本的集合，$\mu_j(j=1,2,…,k)$代表第 j 类样本坐标的均值向量，$\sum_j(j=1,2,…,k)$为第 j 类样本坐标的协方差矩阵。之后我们就可以将二类LDA推广到多类LDA。</p>
<p>&emsp;&emsp;在多类中，我们投影到的低维空间很可能不是一条直线，而是一个超平面。我们假设超平面的维度为 $d$，对应的基向量为 $w_1,w_2,…,w_d$，构成矩阵 $W$。值得注意的是，$W$是一个 $n*d$ 的矩阵，这也是显而易见的，因为 $ W ^Tx_i$，即和原空间数据点做内积，将其映射到 $d$ 维空间。这样我们可以写出优化目标：<br>$$<br>J(W) = \frac{W^TS_bW}{W^TS_wW}<br>$$<br>其中类间散度矩阵为$S_b=\sum_{j=1}^kN_j(\mu_j-\mu)(\mu_j-\mu)^T$，$S_w=\sum_{j=1}^k\sum_{x\in X_j}(x-\mu_j)(x-\mu_j)^T$代表类内散度矩阵。（这里的类间散度矩阵和二类LDA是有一些不同的，这里采用各类中心和所有数据点中心的距离来衡量的）</p>
<p>&emsp;&emsp;和二类LDA不同的是，此时的 $J$ 不是一个标量，（在二类LDA中 $J$ 是函数），而是矩阵，这样的形式一般不好作为优化目标，所以我们可以采用<strong>矩阵对角线元素的乘积</strong>来进行代替，即：<br>$$<br>\begin{aligned}<br>J(W) =\frac{\prod\limits_{diag}W^TS_bW}{\prod\limits_{diag}W_TS_wW} = \frac{\prod\limits_{i=1}^d w_i^TS_bw_i}{\prod\limits_{i=1}^d w_i^TS_ww_i} =  \prod\limits_{i=1}^d \frac{w_i^TS_bw_i}{w_i^TS_ww_i}<br>\end{aligned}<br>$$<br>&emsp;&emsp;然后仔细观察上面最右边的式子，会发现这不就是前面提到的广义瑞利商吗？（多个瑞利商的乘积）而广义瑞利商的最大值为矩阵$S_w^{-1}S_b$的最大特征值，故此时 <strong>$J(W)$的最大值就是矩阵$S_w^{-1}S_b$的前d个最大特征值的乘积，同时W就是特征值对应的特征向量组成的矩阵</strong>。</p>
<p>&emsp;&emsp;虽说矩阵$W$的维度是 $n*d$ 的，代表将 $n$ 维空间数据点投影到d维空间；但是观察矩阵 $S_b$，其是由$k$个秩为1的矩阵相加得来的，并且 $k$个矩阵线性相关，即第 $k$ 个矩阵可以由前 $k-1$ 个矩阵线性表出，所以 $S_b$ 的秩小于等于 $k-1$ ，这是因为 $rank(A+B) \le rank(A) + rank(B)$；而矩阵 $S_w^{-1}S_b$ 的秩小于等于$k-1$，这是因为 $rank(AB)\le min{rank(A), rank(B)}$；所以$S_w^{-1}S_b$最多含有 $k-1$ 个非零特征值，故 $d \le k-1$。</p>
<h2 id="5-LDA算法流程"><a href="#5-LDA算法流程" class="headerlink" title="5. LDA算法流程"></a>5. LDA算法流程</h2><p>&emsp;&emsp;经过前面对LDA原理的介绍，我们可以给出LDA的算法流程：</p>
<p>​    <strong>输入：</strong> 1. 数据集 $D$；2.待降维的空间维数 $d$</p>
<p>​    <strong>输出：</strong> 1.降维后的数据集 $D’$</p>
<ol>
<li>计算类内散度矩阵 $S_w=\sum_{j=1}^k\sum_{x\in X_j}(x-\mu_j)(x-\mu_j)^T$；</li>
<li>计算类间散度矩阵 $S_b=\sum_{j=1}^kN_j(\mu_j-\mu)(\mu_j-\mu)^T$；</li>
<li>计算矩阵 $S_b^{-1}S_w$；</li>
<li>计算 $S_b^{-1}S_w$ 的 d 个最大特征值及其对应的特征向量，组成 $W$；</li>
<li>对原数据集 $D$ 中的数据点 $x_i$，进行投影，得到 $z_i = W^Tx_i$:</li>
<li>输出投影之后的数据集 $D’$；    </li>
</ol>
<p><strong>举例：</strong></p>
<p>&emsp;&emsp;数据集 $D$:<br>$$<br>D=<br>\begin{bmatrix}<br>1 &amp; 2 &amp; 0 \<br>3 &amp; 1 &amp; 0 \<br>-2 &amp; -2 &amp; 1 \<br>-3 &amp; -1 &amp; 1 \<br>\end{bmatrix}<br>$$<br>&emsp;&emsp;1.  类内散度矩阵 $S_w=<br>\begin{bmatrix}<br>2.5 &amp; -1.5  \<br>-1.5 &amp; 1  \<br>\end{bmatrix}$</p>
<p>&emsp;&emsp;2.  类间散度矩阵 $S_b=<br>\begin{bmatrix}<br>20.25 &amp; 13.5  \<br>13.5 &amp; 9.0  \<br>\end{bmatrix}$</p>
<p>&emsp;&emsp;3.  $S_b^{-1}S_w = \begin{bmatrix}<br>162 &amp; 108  \<br>256.5 &amp; 171  \<br>\end{bmatrix}$</p>
<p>&emsp;&emsp;4.  $\lambda_1=0, \lambda_2=333$；$w_1=[-0.5547002,0.83205029],w_2=[-0.53399299,-0.8454889]$</p>
<p>&emsp;&emsp;&emsp;选择最大特征值对应的特征向量 $w=[-0.53399299,-0.8454889]$</p>
<p>&emsp;&emsp;5.  计算投影之后的点集 $D’=<br>\begin{bmatrix}<br>-2.21 \<br>-2.43  \<br>2.74 \<br>2.43  \<br>\end{bmatrix}$</p>
<h2 id="6-LDA算法小结"><a href="#6-LDA算法小结" class="headerlink" title="6. LDA算法小结"></a>6. LDA算法小结</h2><p>&emsp;&emsp;LDA降维的过程基本如上所述，同时也可以将LDA用于分类。不严谨地简述一下：将训练集投影到超平面或者直线之后，对待分类数据点继续投影得到新数据点，利用统计学手段判断其最可能属于某个类别。LDA虽说考虑了不同类别之间的关系，但是还是缺失了原数据集的某些信息，将其用于分类从直观上来说也许并不是很好的手段。</p>
<p>&emsp;&emsp;下面再说一下LDA的优缺点：</p>
<p>&emsp;&emsp;<strong>优点：</strong></p>
<p>&emsp;&emsp;(1) 计算速度快；</p>
<p>&emsp;&emsp;(2) 利用数据点的类别信息，充分考虑先验知识；</p>
<p>&emsp;&emsp;<strong>缺点：</strong></p>
<p>&emsp;&emsp;(1) 当数据不是高斯分布时候，效果不好，PCA也是；</p>
<p>&emsp;&emsp;(2) 降维之后的维数最多为 $k-1$（k为类别数）；</p>
<h2 id="7-参考资料"><a href="#7-参考资料" class="headerlink" title="7. 参考资料"></a>7. 参考资料</h2><ol>
<li><a href="https://zhuanlan.zhihu.com/p/51769969" target="_blank" rel="noopener">机器学习-LDA(线性判别降维算法)</a></li>
<li><a href="https://www.cnblogs.com/pinard/p/6244265.html" target="_blank" rel="noopener">线性判别分析LDA原理总结——刘建平</a></li>
</ol>

    </div>

    
    
    

      <footer class="post-footer">
          <div class="post-tags">
              <a href="/tags/%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B/" rel="tag"># 线性模型</a>
          </div>

        


        
    <div class="post-nav">
      <div class="post-nav-item">
    <a href="/2021/08/22/leetcode/%E6%9C%80%E7%9F%AD%E8%B7%AF%E5%BE%84/" rel="prev" title="最短路径">
      <i class="fa fa-chevron-left"></i> 最短路径
    </a></div>
      <div class="post-nav-item"></div>
    </div>
      </footer>
    
  </article>
  
  
  



          </div>
          

<script>
  window.addEventListener('tabs:register', () => {
    let { activeClass } = CONFIG.comments;
    if (CONFIG.comments.storage) {
      activeClass = localStorage.getItem('comments_active') || activeClass;
    }
    if (activeClass) {
      let activeTab = document.querySelector(`a[href="#comment-${activeClass}"]`);
      if (activeTab) {
        activeTab.click();
      }
    }
  });
  if (CONFIG.comments.storage) {
    window.addEventListener('tabs:click', event => {
      if (!event.target.matches('.tabs-comment .tab-content .tab-pane')) return;
      let commentClass = event.target.classList[1];
      localStorage.setItem('comments_active', commentClass);
    });
  }
</script>

        </div>
          
  
  <div class="toggle sidebar-toggle">
    <span class="toggle-line toggle-line-first"></span>
    <span class="toggle-line toggle-line-middle"></span>
    <span class="toggle-line toggle-line-last"></span>
  </div>

  <aside class="sidebar">
    <div class="sidebar-inner">

      <ul class="sidebar-nav motion-element">
        <li class="sidebar-nav-toc">
          文章目录
        </li>
        <li class="sidebar-nav-overview">
          站点概览
        </li>
      </ul>

      <!--noindex-->
      <div class="post-toc-wrap sidebar-panel">
          <div class="post-toc motion-element"><ol class="nav"><li class="nav-item nav-level-1"><a class="nav-link" href="#线性判别分析LDA"><span class="nav-number">1.</span> <span class="nav-text">线性判别分析LDA</span></a><ol class="nav-child"><li class="nav-item nav-level-2"><a class="nav-link" href="#1-LDA的思想"><span class="nav-number">1.1.</span> <span class="nav-text">1. LDA的思想</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#2-瑞利商-Rayleigh-quotient-与广义瑞利商"><span class="nav-number">1.2.</span> <span class="nav-text">2. 瑞利商(Rayleigh quotient)与广义瑞利商</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#3-二类LDA原理"><span class="nav-number">1.3.</span> <span class="nav-text">3. 二类LDA原理</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#4-多类LDA原理"><span class="nav-number">1.4.</span> <span class="nav-text">4. 多类LDA原理</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#5-LDA算法流程"><span class="nav-number">1.5.</span> <span class="nav-text">5. LDA算法流程</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#6-LDA算法小结"><span class="nav-number">1.6.</span> <span class="nav-text">6. LDA算法小结</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#7-参考资料"><span class="nav-number">1.7.</span> <span class="nav-text">7. 参考资料</span></a></li></ol></li></ol></div>
      </div>
      <!--/noindex-->

      <div class="site-overview-wrap sidebar-panel">
        <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
    <img class="site-author-image" itemprop="image" alt=" BambooWine "
      src="/images/avatar.jpg">

  <!-- 修改作者 -->
  <p class="site-author-name" itemprop="name"> BambooWine </p>
  <!-- <p class="site-author-name" itemprop="name">John Doe</p> -->

  <div class="site-description" itemprop="description"></div>
</div>
<div class="site-state-wrap motion-element">
  <nav class="site-state">
      <div class="site-state-item site-state-posts">
          <a href="/archives/">
        
          <span class="site-state-item-count">21</span>
          <span class="site-state-item-name">日志</span>
        </a>
      </div>
      <div class="site-state-item site-state-categories">
        <span class="site-state-item-count">2</span>
        <span class="site-state-item-name">分类</span>
      </div>
      <div class="site-state-item site-state-tags">
        <span class="site-state-item-count">6</span>
        <span class="site-state-item-name">标签</span>
      </div>
  </nav>
</div>



      </div>

    </div>
  </aside>
  <div id="sidebar-dimmer"></div>


      </div>
    </main>

    <footer class="footer">
      <div class="footer-inner">
        

        

<div class="copyright">
  
  &copy; 
  <span itemprop="copyrightYear">2022</span>
  <span class="with-love">
    <i class="fa fa-user"></i>
  </span>
  
  <span class="author" itemprop="copyrightHolder">BambooWine</span>
</div>
  <div class="powered-by">由 <a href="https://hexo.io/" class="theme-link" rel="noopener" target="_blank">Hexo</a> & <a href="https://theme-next.org/" class="theme-link" rel="noopener" target="_blank">NexT.Gemini</a> 强力驱动
  </div>

        








      </div>
    </footer>
  </div>

  
  <script src="/lib/anime.min.js"></script>
  <script src="/lib/velocity/velocity.min.js"></script>
  <script src="/lib/velocity/velocity.ui.min.js"></script>

<script src="/js/utils.js"></script>

<script src="/js/motion.js"></script>


<script src="/js/schemes/pisces.js"></script>


<script src="/js/next-boot.js"></script>




  















  

  

</body>
</html>
